درست سه‌ونیم میلیارد سال پیش، شکل‌های اولیه‌ی حیات روی زمین به وجود آمدند. چهار میلیون سال پیش بود که ظرفیت مغز هومونیدها (میمون‌های شبه‌انسان) به طرز چشمگیری افزایش یافت. پنجاه‌هزار سال پیش، انسان خردمند ظهور کرد. ۱۰ هزار سال پیش، تمدن به وجود آمد. ۵۰۰ سال پیش، چاپ اختراع شد. ۵۰ سال پیش کامپیوتر اختراع شد و «این» در کمتر از ۳۰ سال به پایان می‌رسد.

جان تالین در سال ۲۰۰۷ در مقاله‌ای آنلاین به نام «خیره به تکینگی» به جملات بالا برخورد (براساس فرضیه‌ی تکینگی فناوری، روزی رشد فناوری به‌حدی می‌رسد که از کنترل انسان خارج می‌شود و تغییرات غیرقابل بازگشتی را در تمدن بشر ایجاد می‌کند). در جمله‌ی آخر پاراگراف بالا منظور از «این»، تمدن انسانی است. به عقیده‌ی مؤلف این مقاله، بشر با ظهور ابَرهوش یا هوش مصنوعی فراتر از هوش انسان در بسیاری از حوزه‌ها، به پایان خود نزدیک می‌شود.

تالین، برنامه‌نویس کامپیوتر متولد استونی است که در زمینه‌ی فیزیک هم سابقه دارد. او زندگی را به یک مسئله‌ی برنامه‌نویسی بزرگ تشبیه می‌کند. تالین در سال ۲۰۰۳ به‌عنوان یکی از بنیان‌گذاران اسکایپ به توسعه‌ی بک‌اند این اپلیکیشن پرداخت. او برای رسیدن به هدفی جدید، دو سال بعد سهم خود را به eBay فروخت. مقاله‌ی «خیره به تکینگی» ترکیبی از کد کامپیوتر، فیزیک و نقل‌قول‌های کالوین و هاب بود.

تالین خیلی زود مؤلف این مقاله را پیدا کرد. الیزر یودکفسکی، نظریه‌پردازی خودآموخته بود. او مؤلف بیش از ۱۰۰۰ مقاله و پست بلاگ بود که موضوع اغلب آن‌ها هم ابَرهوش بود. تالین برنامه‌ای برای برش نوشته‌های یودکفسکی ازاینترنت، مرتب‌سازی آن‌ها به ترتیب زمان و فرمت‌دهی آن‌ها برای دستگاه آیفون خود نوشت. سپس زمانی را به خواندن آن‌ها اختصاص داد.

اصطلاح «هوش مصنوعی» یا شبیه‌سازی هوش در کامپیوترها یا ماشین‌ها به سال ۱۹۵۶، یعنی یک دهه پس از اختراع اولین کامپیوترهای دیجیتال الکترونیکی بازمی‌گردد. هوش مصنوعی در ابتدا زمینه‌ای امیدبخش بود، اما در دهه‌ی ۱۹۷۰ و زمانی‌که پیش‌بینی‌های اولیه محقق نشدند، زمستان هوش مصنوعی آغاز شد.

وقتی تالین مقاله‌های یودکفسکی را پیدا کرد، هوش مصنوعی در آغاز رنسانس بود. دانشمندان موفق به توسعه‌‌ی انواع AIمثل شطرنج، پاکسازی کف آشپزخانه و تشخیص گفتار انسان شده بودند؛ هوش‌های مصنوعی که هرکدام در زمینه‌ای مشخص نسبت به انسان برتری داشتند (چهار سال بعد در سال ۲۰۰۷، برد بزرگ ابرکامپیوتر واتسون IBM در رقابت Jeopardy! رخ داد و هشت سال بعد AlphaGo شرکتDeepMind در بازی GO مقابل انسان به برتری رسید). هوش‌های مصنوعی محدود (narrow) تنها در زمینه‌های مشخصی بهتر از انسان عمل می‌کنند.

برای مثال هوش مصنوعی شطرنج‌باز نمی‌تواند کف زمین را تمیز کند یا شما را از نقطه‌ی A به نقطه‌ی B ببرد؛ اما به اعتقاد تالین، هوش مصنوعی فوق هوشمند محدوده‌ی وسیعی از مهارت‌ها را در یک موجودیت ترکیب می‌کند. بدتر از هر چیز، می‌تواند از داده‌های تلفن‌ هوشمند استفاده کند و در دست‌کاری داده‌ها بهتر از انسان عمل کند.

تالین با خواندن مقاله‌های یودکفسکی به این نتیجه رسید که ابرهوش می‌تواند منجر به تکثیر و انفجار نوعی از هوش مصنوعی شود که موجودیت بشر را تهدید می‌کند. همان‌طور که انسان‌ها بر نسل کپی‌ها (از نخستی‌سانان) مسلط شدند، هوش‌های مصنوعی فوق هوشمند هم می‌توانند جایگاه انسان در نردبان تکامل را اشغال کنند؛ یا بدتر از هر چیز، نسل انسان را منقرض کنند. تالین، پس از خواندن آخرین مقاله‌ها ایمیلی با این مضمون به یودکفسکی ارسال کرد:

من جان هستم، یکی از مهندسین بنیان‌گذار اسکایپ. در این مورد با شما موافق هستم که پیشگیری از پیروزی هوش مصنوعی بر هوش انسانی یکی از مهم‌ترین وظایف بشریت است.

هدف تالین پیشگیری از این اتفاق بود. به همین دلیل، برای چند جلسه به غرب کالیفرنیا رفت و با یودکفسکی ملاقات کرد. بحث آن‌ها چهار ساعت به طول انجامید. یودکفسکی از توانایی منحصربه‌فرد تالین در درک مفاهیم اصلی و جزئیات، ابراز رضایت کرد.

تالین چکی به مبلغ ۵۰۰۰ دلار برای مؤسسه‌ی SIAI (مؤسسه‌ی تکینگی هوش مصنوعی) نوشت، مؤسسه‌ای غیرانتفاعی که یودکفسکی یکی از پژوهشگرهای آن بود. (نام این مؤسسه در سال ۲۰۱۳ به Machine Intelligence Research Institute یا MIRI تغییر پیدا کرد). از آن زمان تالین بیش از ۶۰۰ هزار دلار به این مؤسسه پرداخت کرده است.

تالین پس از ملاقات با یودکفسکی هدف خود را مشخص کرد و مأموریت نجات انسان از دست مخلوقات هوشمند خود را آغاز کرد. او پس از در میان گذاشتن مشکل با نظریه‌پردازان و دانشمندان کامپیوتر، برای سخنرانی در مورد تهدیدهای بالقوه‌ی ابَرهوش، سفر به سراسر دنیا را آغاز کرد.

او کار خود را با سرمایه‌گذاری پژوهشی بر یکی از راه‌های فرار انسان یعنی هوش مصنوعی دوستانه آغاز کرد. در اینجا منظور از هوش مصنوعی دوستانه، ربات یا دستگاهی نیست که در مورد آب‌وهوا با شما صحبت کند یا نام فرزندانتان را انتخاب کند (گرچه هوش مصنوعی فوق هوشمند قادر به انجام تمام این کارها است). حتی هدف هوش مصنوعی دوستانه، عشق یا نوع‌دوستی نیست. بسیاری به‌اشتباه تصور می‌کنند هوش مصنوعی دوستانه از ارزش‌ها و اختیارت انسانی برخوردار است درحالی‌که «دوستانه» در اینجا معنای بنیادی‌تری دارد: ماشین‌های فردا برای رسیدن به اهداف خود، انسان را حذف نمی‌کنند.

تالین در سن ۴۶ سالگی، کارآفرین فناوری است. او معتقد است به‌لطف پیشرفت‌های علمی (درصورتی‌که هوش مصنوعی انسان را نابود نکند)، می‌تواند سال‌های سال زنده بماند. نگرانی او در مورد ابَرهوش از دید پیروان او نگرانی متداولی است. مؤسسه‌ی پیتر تیل یکی از بنیان‌گذاران PayPal،  مبلغ ۱.۶ میلیون دلار به MIRI تخصیص داده است و در سال ۲۰۱۵، ایلان ماسک، بنیان‌گذار تسلا، ۱۰ میلیون دلار را روی مؤسسه‌ی Future of Life سازمان امنیتفناوری مستقر در ماساچوست کمبریج سرمایه‌گذاری کرد.

ورود تالین به این دنیای منحصربه‌فرد به دهه‌ی ۸۰ و دوران پرده‌ی آهنین (مرزی غیرفیزیکی بود که پس از جنگ جهانی دوم در سال ۱۹۴۵ تا پایان جنگ سرد در سال ۱۹۹۱، اروپا را به دو قسمت مجزا تقسیم می‌کرد) بازمی‌گردد؛ درست وقتی پدر یکی از همکلاسیان او با شغل دولتی، اجازه‌ی بازدید او و دوستانش از کامپیوترهای بزرگ مرکزی را داد. تالین پس از استقلال استونی، دست به تأسیس شرکتی در زمینه‌ی بازی‌های ویدئویی زد. تالین امروزه همراه‌با همسر و فرزندش در پایتخت استونی (که همنام با اوست) زندگی می‌کند. او با پژوهشگرها در منطقه‌ی بالتیک ملاقات می‌کند.

تالین می‌خواهد انسان را از شر مخلوقات هوش مصنوعی نجات دهد.

استراتژی پیشنهادی تالین هم مانند بسیاری از کارهای گذشته‌ی او اسلوب‌مند و منظم است. او سرمایه‌ی خود را بین ۱۱ سازمان توزیع کرده است. هرکدام از این سازمان‌ها روی روش‌های متفاوتی برای امنیت هوش مصنوعی کار می‌کنند. تالین در سال ۲۰۱۲ به همراه چند نفر دیگر مرکز پژوهشی CSER (ریسک وجودی) را با سرمایه‌ی اولیه‌ی نزدیک به ۲۰۰ هزار دلار تأسیس کرد.

ریسک‌های وجودی یا ریسک‌های X (طبق‌ نام‌گذاری تالین)، بقای انسان را تهدید می‌کنند. ۲۰ پژوهشگر CSER علاوه‌بر هوش مصنوعی، چالش‌هایی مثل تغییرات اقلیمی، جنگ هسته‌ای و سلاح‌های زیستی را هم بررسی می‌کنند؛ اما به عقیده‌ی تالین، زمینه‌های دیگر تهدید فرار هوش مصنوعی را مشروع جلوه می‌دهند و زمینه‌های فوق مانند دروازه‌ی ورود عمل می‌کنند (براساس این نظریه، مصرف دارویی خاص می‌تواند احتمال مصرف داروهای دیگر را افزایش دهد و به‌تدریج تغییرات بیولوژیکی در مغز ایجاد شود).

نگرانی در مورد تهدید‌های پذیرفته‌شده ازجمله تغییرات اقلیمی می‌تواند توجه بسیاری از افراد را به خود جلب کرده اما تالین امیدوار است مردم از خطر پیروزی ماشین‌های فوق هوشمند بر نسل بشر هم آگاه شوند. برای مثال او در یکی از همایش‌ها از جامعه‌‌ی علمی درخواست می‌کند امنیت هوش مصنوعی را جدی بگیرند.

در این همایش، افرادی از جوامع علمی سراسر جهان، ازجمله پژوهشگری رباتیک از هنگ کنگ و پژوهشگری قدیمی از بریتانیا شرکت کردند که در دهه‌ی ۱۹۶۰  از کمبریج فارغ‌التحصیل شده است.  تالین در این جلسه بحث را به تهدید هوش مصنوعی تغییر می‌دهد و ازآنجاکه طرف صحبت او برنامه‌نویس‌ها نیستند، سعی می‌کنند از تشبیه و استعاره استفاده کند:

هوش مصنوعی پیشرفته می‌تواند انسان را به‌سرعت قطع درختان، نابود کند. ابَرهوش برای انسان دقیقا مثل تهدید انسان برای گوریل‌ها است.

یکی از اعضای جلسه می‌پرسد: «هوش مصنوعی برای غلبه بر انسان نیاز به یک بدنه دارد. بدون پوشش فیزیکی چگونه می‌تواند کنترل فیزیکی را به دست بگیرد؟» تالین برای پاسخ به این سؤال از تشبیه دیگری استفاده می‌کند:

حتی اگر من را در زیرزمین حبس کنید، تنها با داشتن یک اتصال اینترنتی می‌توانم خسارت زیادی وارد کنم.

صرف‌‌نظر از اینکه ربات Roomba (نوعی ربات جاروبرقی) یا یکی از نوادگان جدید آن باشد، هوش مصنوعی براساس خروجی‌ها هدایت می‌شود. برنامه‌نویس‌ها اهداف را همراه‌با یک مجموعه از قوانین و دستورالعمل‌ها به ربات‌هاتخصیص می‌دهند؛ اما هوش مصنوعی پیشرفته برای تسلط بر دنیا لزوما نیازی به دریافت هدف یا دستورالعمل نخواهد داشت؛ بلکه می‌تواند به شکلی کاملا تصادفی به آن برسد. تاریخچه‌ی برنامه‌نویسی کامپیوتر مملو از خطاهای کوچکی است که پیامدهای فاجعه‌باری داشته‌اند.

برای مثال در سال ۲۰۱۰، تاجری که برای شرکت سهام مشترک Waddel & Reed کار می‌کرد، هزاران قرارداد به تاریخ آینده را به فروش رساند؛ اما این شرکت در نرم‌افزار خود، یک متغیر کلیدی را از قلم انداخته بود. این متغیر الگوریتمی برای اجرای مبادله‌ی کالا بود. درنهایت این خطا منجر به خسارتی تریلیون دلاری شد.

پژوهشگرهای تحت حمایت تالین معتقدند، درصورتی‌که ساختار پاداش هوش مصنوعی فوق انسانی به‌درستی برنامه‌ریزی نشود، حتی اهداف خیرخواهانه هم می‌توانند پایانی مخرب داشته باشند. برای مثال، فیلسوف دانشگاه آکسفورد نیک بوستروم در کتاب خود به نام ابَرهوش، به یک مأمور تخیلی اشاره می‌کند که برای تولید تعداد زیادی گیره‌ی کاغذ طراحی شده است. در این نمونه ممکن است هوش مصنوعی حتی اتم‌های بدن انسان را به‌عنوان ماده‌ی خام مناسب برای تولید گیره‌ها تشخیص دهد.

دیدگاه‌های تالین حتی در انجمن‌های نگران امنیت هوش مصنوعی هم با انتقادهایی روبه‌رو است. برخی معتقدند هنوز برای نگرانی در مورد محدود کردن هوش مصنوعی فوق هوشمند زود است زیرا درک جامعی از آن وجود ندارد. به عقیده‌ی گروهی دیگر، تمرکز بر بازیگران سرکش فناوری، توجه به مشکلات مهم‌تر و ضروری‌تر را کمرنگ می‌کند.

برای مثال اغلب الگوریتم‌ها توسط سفیدپوستان یا براساس داده‌هایی طراحی می‌شوند که به آن‌ها گرایش دارند. به‌گفته‌ی ترا لیونز، مدیر اجرایی Parthneship AI، سازمانی چندذینفعی متمرکز بر امنیت هوش مصنوعی و مشکلات دیگر (تعداد زیادی از مؤسسه‌های تحت پشتیبانی تالین از اعضای این سازمان هستند):

اگر در کوتاه‌مدت به مشکلات توجه نکنیم، دنیا جای خطرناکی برای زندگی خواهد شد.

اما به اعتقاد او، برخی چالش‌های قریب‌الوقوع مانند حذف انحراف‌های الگوریتمی (در نمونه‌ی فوق سفیدپوست‌ها) مهم‌تر از چالش‌های هوش مصنوعی فوق هوشمند هستند.

اما تالین با این دلایل هم قانع نشد. او معتقد است هوش مصنوعی فوق هوشمند تهدید‌های منحصربه‌فرد خود را دارد و امیدوار است جامعه‌ی هوش مصنوعی مانند جنبش ضدهسته‌ای دهه‌ی ۱۹۴۰ عمل کند. پس از بمباران هیروشیما و ناکازاکی، دانشمندان دست‌به‌دست یکدیگر دادند تا تست هسته‌ای را محدود کنند. درحالی‌که دانشمندان پروژه‌ی منهتن (پروژه‌‌ی توسعه‌ی اولین سلاح‌های هسته‌ای در طول جنگ جهانی دوم) می‌توانستند بگویند:

ما در حال اجرای نوآوری هستیم و نوآوری همیشه خوب است. پس بگذارید پیش برویم.

تالین هشدار می‌دهد که رسیدن به امنیت هوش مصنوعی کار دشواری است. درصورتی‌که هوش مصنوعی به‌اندازه‌ی کافی هوشمند باشد، درک بهتری از محدودیت‌ها خواهد داشت. تالین چنین شرایطی را به بیدار شدن در زندانی تشبیه می‌کند که به دست یک مشت کودک پنج ساله و کور ساخته شده است. همین مسئله برای هوش مصنوعی هوشمند صحت دارد و درک آن از زندان و رفع محدودیت‌ها می‌تواند بسیار فراتر از خالق انسانی باشد.

یودکفسکی نظریه‌پرداز با اجرای آزمایشی در سال ۲۰۰۲ به این تهدید‌ها پی برد. او در این آزمایش‌ها چت‌های دو طرفه‌ای را اجرا کرد. خود او نقش هوش مصنوعی محصور در یک جعبه را ایفا می‌کرد، مخاطبان هم نقش دروازه‌بان یا زندان‌بانی را ایفا می‌کردند که هوش مصنوعی را درون جعبه نگه‌ می‌داشت. یودکفسکی می‌گوید از هر پنج مرتبه، سه مرتبه توانست دروازه‌بان را قانع کند که او را آزاد کند. بااین‌حال آزمایش‌های او باعث نشد پژوهشگرها از ساخت جعبه‌های بهتر دلسرد شوند.

پژوهشگرهای تحت حمایت تالین، برای رسیدن به هدف مجموعه‌ای وسیع از استراتژی‌ها، روش‌های کاربردی و حتی غیرممکن را در نظر می‌گیرند. گروهی به محصور کردن فیزیکی هوش مصنوعی در ساختاری واقعی و فیزیکی یا محصور کردن آن ازطریق برنامه‌نویسی اعتقاد دارند. گروهی دیگر هم سعی می‌کنند هوش مصنوعی را به‌گونه‌ایآموزش دهند که به ارزش‌های انسانی احترام بگذارد.

تعداد کمی هم روی دکمه‌ی خاموش یا Off کار می‌کنند. یکی از پژوهشگرها به نام استوارت آرمسترانگ، فیلسوف و ریاضیدان مؤسسه‌ی Future of Humanity دانشگاه آکسفورد (تالین این مؤسسه را جذاب‌ترین بخش دانشگاه می‌داند و بیش از ۳۱۰ هزار دلار روی آن سرمایه‌گذاری کرده است)، معتقد است هر سه روش مزایای خود را دارد. آرمسترانگ یکی از معدود پژوهشگرهای دنیا است که به‌صورت تمام‌وقت روی امنیت هوش مصنوعی کار می‌کند.

آرمسترانگ بخشی از پژوهش خود را به یک نوع روش محصورسازی به نام «oracle AI» اختصاص داده است. او در سال ۲۰۱۲ در مقاله‌ای با همکاری نیک بوستروم (یکی از بنیان‌گذاران FHI)، نه‌تنها احاطه‌کردن ابَرهوش در یک مخزن (ساختار فیزیکی) را پیشنهاد داد، بلکه با روشی مثل تخته‌ی ویجا (تخته‌ای که برای احضار ارواح به کار می‌رود و با پاسخ‌هایی مثل بله و خیر و اعداد همراه است) محدودیت آن را افزایش داد. باوجود تمام این محدودیت‌ها هوش مصنوعی می‌تواند با دست‌کاری زیرکانه‌ی بازپرس‌های خود، سرنوشت بشر را تغییر دهد.

آرمسترانگ برای کاهش این احتمال، محدودیت در زمان مکالمه یا جلوگیری از پرس‌وجوهایی را پیشنهاد می‌دهد که ممکن است نظم جهان را بر هم بزنند. او همچنین پیشنهاد می‌کند معیارهای بقای انسان مثل میانگین صنعتی داو جونز (شاخص بازار سهام که ارزش سهام ۳۰ شرکت بزرگ در ایالات‌متحده و نحوه‌ی تجارت آن‌ها در بازار سهام را نشان می‌دهد) یا تعداد افرادی که در توکیو از خیابان عبور می‌کنند، در اختیار پراکسی اوراکل قرار داده شده و از آن خواسته شود این داده‌ها را ثابت نگه دارد.

آرمسترانگ به‌عنوان راه‌حل آخر، ساخت دکمه‌ی قرمز off یا خاموش شدن هوش مصنوعی را توصیه می‌کند. این دکمه می‌تواند یک کلید فیزیکی یا مکانیزمی برنامه‌ریزی‌شده در هوش مصنوعی باشد که در صورت وقوع مشکل، خود را خاموش کند؛ اما طراحی چنین کلیدی چندان ساده نیست چرا که علاقه‌ی هوش مصنوعی به حفاظت از خود می‌تواند مانع از فشردن چنین کلیدی توسط خود او شود.

همچنین شاید هوش مصنوعی در مورد طراحی چنین کلیدی کنجکاو شود، آن را فعال کند و درنتیجه به یک موجود بی‌استفاده تبدیل شود. در سال۲۰۱۳، برنامه‌نویسی به‌نام تام مورفی، نوعی هوش مصنوعی طراحی کرد که می‌توانست بازی‌های سیستم سرگرمی نینتندو را به خود آموزش دهد. این هوش مصنوعی که در پیروزی مصمم بود، خیلی ساده کلید pause یا توقف را فشار می‌داد تا بازی را متوقف کند. مورفی هم در مقاله‌ای به کنایه می‌گوید تنها راه برد، بازی نکردن است.

هوش مصنوعی برای موفقیت باید به این دکمه بی‌علاقه باشد یا به‌گفته‌ی تالین، باید برای وجود یا عدم وجود خود در دنیا ارزش یکسانی قائل شود؛ اما حتی اگر پژوهشگرها به این هدف برسند، با چالش‌های دیگری روبه‌رو خواهند شد. برای مثال، چه اتفاقی رخ می‌دهد اگر هوش مصنوعی چند هزار کپی از خود را در اینترنت توزیع کند؟

هیجان‌انگیزترین پژوهش، یافتن راهی برای احترام هوش مصنوعی به ارزش‌های انسانی است. البته پژوهشگرها می‌خواهند ازطریق آموزش هوش مصنوعی به این هدف برسند، نه صرفا برنامه‌ریزی آن‌. در دنیایی که با سیاست‌های متعصبانه احاطه شده است، مردم نگران روش‌ها و اصول متفاوت هستند. اما به عقیده‌ی تالین، انسان‌ها باوجود تمام تفاوت‌ها، نقاط مشترک زیادی دارند؛ بنابراین هوش مصنوعی هم می‌تواند قوانین مشترک را تشخیص دهد.

آیا می‌توان هوش مصنوعی را کنترل کرد؟ هو پرایس، تالین و مارتین، بنیان‌گذاران مرکز ریسک وجودی کمبریج به‌دنبال پاسخ به این سؤال هستند.

در چنین شرایطی، باید جنبه‌ی کمتر منطقی انسان را به هوش مصنوعی آموزش داد. برای مثال انسان‌ها جملاتی با معنای غیرمستقیم را به کار می‌برند؛ یا گاهی اولویت‌های انسان با یکدیگر در تضادند. دراین‌میان، مسیرهای داده‌ای اپلیکیشن‌ها و شبکه‌های اجتماعی می‌توانند منبع خوبی برای آموزش هوش مصنوعی باشند. بااین‌حال به عقیده‌ی تالین باید در این زمینه تلاش کرد زیرا ریسک هوش مصنوعی بالا است. او می‌گوید:

باید جلوتر از زمانه‌ی خود فکر کنیم. درصورتی‌که منافع هوش مصنوعی با منافع انسان مشترک نباشد، تولید آن خطای غیرقابل جبران و وحشتناکی خواهد بود.

تالین در جلسه‌ای با شان ایگرتایگ پژوهشگر ژنوم (رئیس اجرایی CSER) و ماتیس ماس، پژوهشگر سیاست هوش مصنوعی در دانشگاه کپنهاگ به بحث در مورد این موضوع پرداخت. آن‌ها در مورد ایده‌ی هوش مصنوعی در مقابل بلاک‌چین و همچنین در مورد بازی آنلاین ویدئویی به‌نام Universal PaperClips بحث کردند.

این بازی با اجرای سناریوی کتاب بوستروم از مخاطب می‌خواهد برای ساخت گیره‌های کاغذی به‌صورت پیوسته روی ماوس خود کلیک کند. این بازی هیجان‌انگیز یا جذاب نیست اما به مخاطب نشان می‌دهد چرا یک ماشین برای تولید کالاهای دفتری به‌دنبال راه‌های مناسب‌تری است.

آن‌ها در این جلسه در مورد مسائل بزرگ‌تری هم صحبت کردند. هدف اصلی پژوهش امنیت هوش مصنوعی، ساخت ماشین‌هایی است که به‌گفته‌ی هو پرایس، فیلسوف کمبریج و بنیان‌گذار CSER، از نظر اخلاقی و شناختی ابرانسان یا فوق انسان باشند. در این جلسه سؤال‌های دیگری هم مطرح شد: اگر نخواهیم هوش مصنوعی بر ما غلبه کند، ما می‌توانیم بر آن غلبه کنیم؟ به‌بیان‌دیگر، آیا هوش مصنوعی از حقوقی برخوردار است؟ به‌گفته‌ی تالین، لازم نیست جنبه‌ی انسانی برای هوش مصنوعی قائل شد. معمولا افراد هوش را با هوشیاری یا خودآگاهی اشتباه می‌گیرند. چنین سوءبرداشتی بسیاری از پژوهشگرهای هوش مصنوعی را آزار می‌دهد. برای مثال تالین می‌گوید:

هوشیاری یکی از ابعاد جانبی هوش مصنوعی است؛ برای مثال یک ترموستات را در نظر بگیرید. از هوشیاری برخوردار نیست؛ اما اگر در اتاقی باشید که به دمای منفی ۳۰ درجه تنظیم شده باشد، مخالفت یا دشمنی با آن منطقی نیست.

ایگرتایگ اضافه می‌کند:

 نگرانی در مورد هوشیاری هم جایگاه خود را دارد؛ اما درصورتی‌که در ابتدا چالش‌های امنیتی را حل نکنیم، فرصتی برای نگرانی در مورد هوشیاری نخواهیم داشت.

 به‌طورکلی این پیش‌فرض‌ها و سؤال‌ها در مورد آینده‌ی هوش مصنوعی وجود دارد. برای مثال هوش مصنوعی چه شکلی به خود خواهد گرفت؟ آیا باید نگران یک نوع هوش مصنوعی بود یا ارتشی از آن‌ها؟ به‌گفته‌ی تالین، مسئله‌ی مهم، کاری است که هوش مصنوعی انجام می‌دهد و او معتقد است فعلا کارهای هوش مصنوعی در حیطه‌ی اختیار و قدرت انسان است.